Nacido en una familia de hacendados escoceses, desde 1694 a 1697 estudió leyes en la Universidad de Leiden, donde  probablemente recibió lecciones de composición de Jakob Kremberg. Hizo luego una gran gira hasta 1700, visitando Viena y estableciéndose 15 meses en Roma, donde tomó lecciones de composición con Arcangelo Corelli. De vuelta en Escocia de dedicó a asuntos públicos, que lo llevaron a ser uno de los signatarios del Tratado de Unión entre Escocia e Inglaterra en 1707. Desde la edad de 26 años en adelante parece no haber tenido tiempo para dedicarse seriamente a la composición: sus principales obras musicales sobrevivientes fueron todas escritas alrededor de 1703.

Sucedió a su padre como segundo baronet de Penicuik en 1722. Tarde en su vida el antes compositor se contento con patrocinar los esfuerzos musicales de otros; un protégé importante fue el escritor Allan Ramsay (1686-1757) cuya letra de la canción "Wat ye wha I met yestreen" y la ópera balada "The Gentle Shepherd" celebran el campo de Midlothian alrededor de la propiedad de Clerk. 

Bajo el tutelaje de Corelli (sobre quien hizo interesantes notas en su diario) Clerk floreció como un compositor con imaginación y verdadero potencial, que eventualmente no se cumplieron. Su  mejor obra es la cantata "Odo di mesto intorno",  que mantiene una duración de 25 minutos a través de puro poder melódico, a pesar de su forma suelta. Corelli dirigió la música en la primera representación en la villa romana del Duque de Bedford en 1698, una muestra de la consideración del maestro por su alumno. También notable es la cantata "Leo Scotie irritatus", en alabanza de la esforzada colonia escocesa de Darien (ahora en Panamá). El texto latino para esta es de Herman Boerhaave (1668-1738), el ilustre médico y científico holandés a quien Clerk conoció en Leiden y que se convirtió en su amigo  de toda la vida.